2022-11-24
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
3D object detection received increasing attention in autonomous driving recently. Objects in 3D scenes are distributed with diverse orientations. Ordinary detectors do not explicitly model the variations of rotation and reflection transformations. Consequently, large networks and extensive data augmentation are required for robust detection. Recent equivariant networks explicitly model the transformation variations by applying shared networks on multiple transformed point clouds, showing great potential in object geometry modeling. However, it is difficult to apply such networks to 3D object detection in autonomous driving due to its large computation cost and slow reasoning speed. In this work, we present TED, an efficient Transformation-Equivariant 3D Detector to overcome the computation cost and speed issues. TED first applies a sparse convolution backbone to extract multi-channel transformation-equivariant voxel features; and then aligns and aggregates these equivariant features into lightweight and compact representations for high-performance 3D object detection. On the highly competitive KITTI 3D car detection leaderboard, TED ranked 1st among all submissions with competitive efficiency.
translated by 谷歌翻译
In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.
translated by 谷歌翻译
关于神经体系结构搜索（NAS）的现有研究主要集中于有效地搜索具有更好性能的网络体系结构。几乎没有取得进展，以系统地了解NAS搜索的架构是否对隐私攻击是强大的，而丰富的工作已经表明，人类设计的架构容易受到隐私攻击。在本文中，我们填补了这一空白，并系统地衡量了NAS体系结构的隐私风险。利用我们的测量研究中的见解，我们进一步探索了基于细胞的NAS架构的细胞模式，并评估细胞模式如何影响NAS搜索架构的隐私风险。通过广泛的实验，我们阐明了如何针对隐私攻击设计强大的NAS体系结构，还提供了一种通用方法，以了解NAS搜索的体系结构与其他隐私风险之间的隐藏相关性。
translated by 谷歌翻译
蒙版语言建模（MLM）已被广泛用作培训前语言模型（PRLMS）中的剥夺目标。现有的PRLMS通常采用随机掩盖策略，在该策略中应用固定的掩蔽率，并且在整个培训中都有均等的概率掩盖了不同的内容。但是，该模型可能会受到训练前状态的复杂影响，随着训练时间的发展，这种影响会发生相应的变化。在本文中，我们表明这种时间不变的MLM设置对掩盖比和掩盖内容不太可能提供最佳结果，这激发了我们探索时间变化的MLM设置的影响。我们提出了两种计划的掩蔽方法，可在不同的训练阶段适应掩盖比和内容，从而提高了训练前效率和在下游任务上验证的效率。我们的工作是一项关于比率和内容的时间变化掩盖策略的先驱研究，并更好地了解掩盖比率和掩盖内容如何影响MLM的MLM预训练。
translated by 谷歌翻译
虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。
translated by 谷歌翻译
动机：癌症是异质的，影响了个性化治疗的精确方法。准确的亚型可以导致癌症患者的生存率更好。高通量技术为癌症亚型提供了多个OMIC数据。但是，由于OMICS数据的大量和高维度，精确的癌症亚型仍然具有挑战性。结果：这项研究提出了基于MLP和变压器块的深度学习方法拟议的亚型形式，以提取多摩学数据的低维表示。 K-均值和共识聚类也用于获得准确的亚型结果。我们比较了TCGA 10癌症类型的其他最先进的亚型方法。我们发现，基于生存分析，亚型形式可以在5000多个肿瘤的基准数据集上表现更好。此外，亚型形式还取得了泛滥亚型的出色结果，这可以帮助分析分子水平上各种癌症类型的共同点和差异。最后，我们将亚型格式应用于TCGA 10类型的癌症。我们确定了50种基本生物标志物，可用于研究靶向癌症药物并促进精密医学时代的癌症治疗。
translated by 谷歌翻译
科学数据中的关系，例如单变量数据中特征的数值和空间分布关系，多元数据中的标量值组合的关系以及时间变化和整体数据中的体积的关联，是复杂且复杂的。本文介绍了一种新型的无监督表示学习模型Voxel2Vec，该模型用于在低维矢量空间中学习标量值/标量值组合的分布式表示。它的基本假设是，如果两个标量值/标量值组合具有相似的上下文，则它们通常在特征方面具有很高的相似性。通过将标量值/标量值组合表示为符号，voxel2vec在空间分布的背景下了解它们之间的相似性，然后允许我们通过传输预测来探索卷之间的整体关联。我们通过将其与单变量数据的等速度相似性图进行比较，并将学习的分布式表示形式与多变量数据分类以及用于时间变化和集合数据的关联分析来证明voxel2vec的有用性和有效性。
translated by 谷歌翻译
时空视频超分辨率（STVSR）的目标是增加低分辨率（LR）和低帧速率（LFR）视频的空间分辨率。基于深度学习的最新方法已取得了重大改进，但是其中大多数仅使用两个相邻帧，即短期功能，可以合成缺失的框架嵌入，这无法完全探索连续输入LR帧的信息流。此外，现有的STVSR模型几乎无法明确利用时间上下文以帮助高分辨率（HR）框架重建。为了解决这些问题，在本文中，我们提出了一个称为STDAN的可变形注意网络。首先，我们设计了一个长短的术语特征插值（LSTFI）模块，该模块能够通过双向RNN结构从更相邻的输入帧中挖掘大量的内容，以进行插值。其次，我们提出了一个空间 - 周期性变形特征聚合（STDFA）模块，其中动态视频框架中的空间和时间上下文被自适应地捕获并汇总以增强SR重建。几个数据集的实验结果表明，我们的方法的表现优于最先进的STVSR方法。该代码可在https://github.com/littlewhitesea/stdan上找到。
translated by 谷歌翻译
自我关注在捕获远程关系时，在提高视觉任务的表现，例如图像分类和图像标题等方面，突出的能力。然而，自我关注模块高度依赖于查询键值特征之间的点产品乘法和维度对齐，这导致两个问题：（1）点产品乘法导致穷举和冗余计算。 （2）由于视觉特征图通常出现作为多维张量，重塑张量特征的尺度，以适应尺寸对齐可能会破坏张量特征图的内部结构。为了解决这些问题，本文提出了一种具有其变体的自我关注插入模块，即合成张量变换（STT），用于直接处理图像张量特征。如果在查询键值之间计算点 - 产品乘法，则基本STT由张量转换组成，以从视觉信息中学习合成注意力。 STT系列的有效性在图像分类和图像标题上验证。实验表明，建议的STT实现了竞争性能，同时保持鲁棒性与基于视觉任务的自我关注相比。
translated by 谷歌翻译